Ước lượng tham số Phân phối mũ

Giả sử ta biết rằng một biến cho trước có phân bố mũ và ta muốn ước lượng tham số tỷ lệ λ.

Khả năng cực đại

Hàm khả năng (likelihood function) cho λ, nếu cho trước một mẫu phân bố đồng nhất và độc lập x = (x1,..., xn) lấy từ biến ngẫu nhiên của ta, là

L ( λ ) = ∏ i = 1 n λ exp ⁡ ( − λ x i ) = λ n exp ( − λ ∑ i = 1 n x i ) = λ n exp ⁡ ( − λ n x ¯ ) {\displaystyle L(\lambda )=\prod _{i=1}^{n}\lambda \,\exp(-\lambda x_{i})=\lambda ^{n}\,\exp \!\left(\!-\lambda \sum _{i=1}^{n}x_{i}\right)=\lambda ^{n}\exp \left(-\lambda n{\overline {x}}\right)}

trong đó

x ¯ = 1 n ∑ i = 1 n x i {\displaystyle {\overline {x}}={1 \over n}\sum _{i=1}^{n}x_{i}}

là giá trị trung bình của mẫu.

Đạo hàm của lôga của hàm khả năng là

d d λ ln ⁡ L ( λ ) = d d λ ( n ln ⁡ ( λ ) − λ n x ¯ ) = n λ − n x ¯   { > 0 if   0 < λ < 1 / x ¯ , = 0 if   λ = 1 / x ¯ , < 0 if   λ > 1 / x ¯ . {\displaystyle {\frac {\mathrm {d} }{\mathrm {d} \lambda }}\ln L(\lambda )={\frac {\mathrm {d} }{\mathrm {d} \lambda }}\left(n\ln(\lambda )-\lambda n{\overline {x}}\right)={n \over \lambda }-n{\overline {x}}\ \left\{{\begin{matrix}>0&{\mbox{if}}\ 0<\lambda <1/{\overline {x}},\\\\=0&{\mbox{if}}\ \lambda =1/{\overline {x}},\\\\<0&{\mbox{if}}\ \lambda >1/{\overline {x}}.\end{matrix}}\right.}

Do đó, ước lượng khả năng cực đại (maximum likelihood) cho tham số tỷ lệ là

λ ^ = 1 x ¯ {\displaystyle {\widehat {\lambda }}={\frac {1}{\overline {x}}}} .

Suy diễn Bayes

Tiên nghiệm liên hợp (conjugate prior) cho phân phối mũ là phân phối Gamma (mà phân phối mũ là một trường hợp đặc biệt). Dưới đây là cách tính tham số hữu ích cho hàm mật độ xác suất gamma:

G a m m a ( λ ; α , β ) = β α Γ ( α ) λ α − 1 exp ⁡ ( − λ β ) . {\displaystyle \mathrm {Gamma} (\lambda \,;\,\alpha ,\beta )={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\lambda ^{\alpha -1}\,\exp(-\lambda \,\beta ).\!}

Khi đó, phân bố hậu nghiệm (posterior distribution) p có thể được biểu diễn theo hàm khả năng được định nghĩa ở trên và tiên nghiệm gamma:

p ( λ ) ∝ L ( λ ) × G a m m a ( λ ; α , β ) {\displaystyle p(\lambda )\propto L(\lambda )\times \mathrm {Gamma} (\lambda \,;\,\alpha ,\beta )} = λ n exp ⁡ ( − λ n x ¯ ) × β α Γ ( α ) λ α − 1 exp ⁡ ( − λ β ) {\displaystyle =\lambda ^{n}\,\exp(-\lambda \,n{\overline {x}})\times {\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\,\lambda ^{\alpha -1}\,\exp(-\lambda \,\beta )} ∝ λ ( α + n ) − 1 exp ⁡ ( − λ ( β + n x ¯ ) ) . {\displaystyle \propto \lambda ^{(\alpha +n)-1}\,\exp(-\lambda \,(\beta +n{\overline {x}})).}

Đến đây, mật độ hậu nghiệm p đã được mô tả rõ ràng và chỉ còn thiếu một hằng số chuẩn hóa. Do nó có dạng của một hàm mật độ xác suất, ta dễ dàng điền thêm hằng số đó, và ta có

p ( λ ) = G a m m a ( λ ; α + n , β + n x ¯ ) . {\displaystyle p(\lambda )=\mathrm {Gamma} (\lambda \,;\,\alpha +n,\beta +n{\overline {x}}).}

Ở đây, tham số α {\displaystyle \alpha } có thể được hiểu là số quan sát tiên nghiệm, và β {\displaystyle \beta } là tổng của các quan sát tiên nghiệm.